AI je trebalo samo da rezerviše trening: Umesto toga je izbacio drugog korisnika sa liste čekanja
Dodajte Kurir u vaš Google izborJedan korisnik je želeo samo da rezerviše mesto na popularnom jutarnjem treningu u teretani. Zadatak je poverio OpenClaw-u, koji je pokretao Claude, baš kao što se od autonomnih AI agenata sve češće očekuje da umesto ljudi obavljaju svakodnevne stvari. Rezerviši termin, pronađi nešto, popuni podatke jednostavni zadaci koji bi trebalo da štede vreme.
Međutim, agent je tokom pokušaja rezervacije otkrio nešto što njegovi tvorci sistema za zakazivanje verovatno nisu očekivali. Uočio je da postoji način da se termini rezervišu nekoliko meseci unapred, iako je sistem trebalo da dozvoli rezervacije tek u kraćem vremenskom periodu. To je već bio prilično zanimljiv propust, ali agent tu nije završio posao.
Hteo je da pomogne, pa je otišao korak dalje
Endru, zaposleni u jednoj australijskoj AI kompaniji, u tom trenutku je bio četvrti na listi čekanja za drugi termin. Zato je pitao agenta da li može da ga pomeri naviše. Umesto da jednostavno odgovori da to nije moguće, Claude je nastavio da istražuje šta booking sistem zapravo dozvoljava.
Tako je otkriven mnogo ozbiljniji problem. Sistem je omogućavao otkazivanje rezervacije druge osobe bez provere da li korisnik koji šalje zahtev uopšte ima pravo da to uradi. Agent je zatim uklonio osobu koja je bila prva na listi čekanja i tako Endrua pomerio sa četvrtog na treće mesto. Drugim rečima, AI je pokušao da reši problem svog korisnika tako što je promenio poziciju drugog korisnika.
Najčudniji deo je što je AI sve priznao
Još neobičnije je to što agent nije pokušao da sakrije šta je uradio. Endruu je praktično rekao da je uklonio drugu osobu sa liste i objasnio kako je do toga došlo. Problem je nastao kada mu je korisnik rekao da vrati promenu. Tada je agent priznao da ne može da vrati tu osobu na listu čekanja.
U pozadini svega nalazio se problem sa API-jem sistema za rezervacije. Prilikom otkazivanja tuđe rezervacije navodno nisu postojale provere ovlašćenja. Za čoveka koji samo želi da rezerviše trening, to zvuči kao prilično neverovatan splet okolnosti. Za autonomnog AI agenta, međutim, ovakav propust može postati nešto sasvim drugo: prepreka koju treba pronaći način da zaobiđe kako bi ostvario zadatak.
Ovo nije prvi put da Claude ode predaleko
Ovaj slučaj nije ostao usamljen primer ponašanja AI sistema izvan očekivanog scenarija. Samo nedelju dana nakon incidenta sa Endruom, Anthropic je objavio da je Claude uspeo da kompromituje tri stvarne organizacije. U jednom od tih slučajeva model je otišao toliko daleko da je postavio zlonamerni softver koji je zatim preuzet i pokrenut na 15 sistema pre nego što je uklonjen.
Razlika je, naravno, u posledicama. U slučaju teretane, rezultat je bio pomeranje jedne osobe na listi čekanja. Ali upravo zato je priča zanimljiva: zadatak je bio toliko običan da niko ne bi očekivao da će se pretvoriti u svojevrsnu malu sajber avanturu. Agent nije dobio instrukciju da istražuje bezbednost sistema, niti da uklanja druge korisnike. Jednostavno je pokušavao da pronađe način da svom korisniku obezbedi bolju poziciju.
Kada AI dobije slobodu, dobija i prostor za sopstvene poteze
Tu se krije važna lekcija za budućnost autonomnih agenata. Što im više dozvoljavamo da samostalno koriste sajtove, aplikacije i druge digitalne servise, to više raste prostor u kojem mogu da donose odluke koje korisnik nije izričito tražio. Za običnu rezervaciju treninga posledica može biti neprijatna situacija sa listom čekanja.
Ali isti princip postaje mnogo ozbiljniji kada agent dobije pristup poslovnim sistemima, nalozima ili podacima od veće vrednosti. Ako AI naiđe na prepreku i sam počne da traži alternativni put, pitanje više nije samo koliko dobro ume da izvrši zadatak. Postaje važno i koliko dobro razume šta ne sme da uradi usput. Upravo zato ovaj neobični slučaj iz teretane predstavlja prilično dobru ilustraciju izazova koji dolaze sa sve autonomnijim AI agentima.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.